Web-application architecture for the Kubernetes cluster at the Google cloud platform with horizontal automatic scaling

The article is devoted to the development of the Web application architecture with the distribution of the application by components into 2 tiers connected by the messaging system, and using of load balancing by horizontal scaling in the Kubernetes cloud cluster. Queue length in the message broker is used for scaling as critirea. This approach allows to increase resource usage efficiency of the system. The relevance of the topic is due to the widespread use of various web services and web applications. When the load of web applications increases it can lead to delays or even failure of these services. Therefore, the issues of creating reliable, faulttolerant, and scalable systems become extremely important. If the load is greater than the system or service can withstand, it may result in denial of service or termination of service. Also, the load can be unevenly distributed to services over a period of time, and therefore, even if the system has enough resources to withstand high loads, during periods of low load, these resources will not be used, resulting in problems of inefficient use of resources and overspending. The proposed system was deployed in the Google Cloud environment. The components of the server part of the Web application are grouped into 2 tiers. The microlayer components of the first layer analyze HTTP client requests and transmit messages to the components of the second layer using the Google Pub-Sub messaging system. It is proposed to make all relatively "difficult" operations on the components of the second layer. For the numerical experiment, a system was implemented using an algorithm for horizontal scaling of microservices based on the current number of messages in the queue. Load testing of the system was performed, which showed that the created system is capable of processing more than 2 times more requests for the same period of time compared to the system without scaling

Платформа підтримки життєвого циклу сервісів в інформаційних системах провайдерів інформаційно-комунікаційних послуг

Об’єктом дослідження є процеси підтримки життєвого циклу сервісів в інформаційних системах провайдерів інформаційно-комунікаційних послуг. Мета полягає у підвищенні ефективності управління життєвим циклом сервісів в інформаційних системах провайдерів інформаційно-комунікаційних послуг за рахунок створення платформи підтримки життєвого циклу сервісів. Сформульована проблема управління життєвим циклом сервісів в інформаційних системах провайдерів інформаційно-комунікаційних послуг. В процесі аналізу існуючих підходів до вирішення сформульованої вище розглянуто відомі платформи, що надають інструменти для підтримки усіх етапів життєвого циклу сервісів. При цьому акцент зроблено на концептуальних засадах платформ, аналізі використовуваних платформами технологій, моделях і методах, покладених в основу їх створення. Обґрунтовано доцільність вирішення проблеми управління життєвим циклом сервісів в інформаційних системах провайдерів інформаційно-комунікаційних послуг на основі комплексного рішення для аналізу, проектування і управління життєвого циклу сервісів і їх ефективного використання, яке здатне інтегрувати усі чинники впливу і реалізоване у вигляді платформи підтримки життєвим циклом сервісів в інформаційних системах провайдерів інформаційно-комунікаційних послуг. Запропонована концепція платформи підтримки життєвого циклу сервісів. У сучасних умовах розвитку галузі інформаційних технологій в основу створення платформи, з одного боку, покладені перевірені ідеї, які добре себе показали в існуючих платформах, з іншого боку, сформульовані нові ідеї, обумовлені потребами розвитку сфери надання інформаційно-комунікаційних послуг. Процеси платформи підтримки життєвого циклу сервісів в інформаційних системах провайдерів інформаційно-комунікаційних послуг визначені на основі процесів підтримки традиційних етапів життєвого циклу сервісів E2E з урахуванням процесів, яких вимагають комплексна модель організаційної зрілості (Capability Maturity Model Integration), використовувана для сертифікації організацій і компаній галузі інформаційних технологій, підхід Evergreen та концепції інтегрованості платформи і керованих сервісів. Розроблена архітектура зазначеної платформи і описаний підхід до її реалізації. При побудові складових платформи, визначенні їх взаємодії, організації функціонування інструментального комплексу використані сучасні підходи до створення програмних систем, методологія аналізу і проектування інформаційних систем, сучасні інформаційні технології. Бібл. 30, іл.

Управление системами хранения данных

Розглянуті аспекти управління багаторівневими системами збереження даних (СЗД). Розроблені математичні моделі для задач кластеризації та управління ресурсами СЗД. Розроблені генетичний та евристичний алгоритми для розв’язання задачі розподілення ресурсів СЗД за критерієм мінімізації витрат на збереження даних. Наведені результати експериментальних досліджень ефективності алгоритмів для СЗД різних об’єктів при широкому діапазоні потреб користувачів у ресурсах збереження. Запропоновані рекомендації щодо використання запропонованих алгоритмів для розв’язання задачі управління СЗД в інформаційно-телекомунікаційних системах.The problems of effective management of tiered storage area network (SAN) are considered. The main independent variables and criteria for the operation SAN are defined. The criterion for selecting SAN management subsystem is proposed. The functional should covered with the SAN management subsystem is defined. Mathematical models for distribution users between SAN resources and management of tiered SAN resources are proposed. Genetic and heuristic algorithms for solving the problem of minimizing storage costs are proposed. The experimental results for different groups of tasks are given. It is shown that the genetic algorithm allows find a more effective solution than a heuristic algorithm. The average time spending on distribution of data depending on the dimension of the problem is estimated. The heuristic algorithm finds a solution faster than the genetic algorithm, but gives a less accurate result.Рассмотрены проблемы управления многоуровневыми системами хранения данных (СХД). Разработаны математические модели для задач кластеризации и управления ресурсами СХД. Разработаны генетический и эвристический алгоритмы для решения задачи распределения ресурсов СХД по критерию минимизации затрат на хранение данных. Приведены результаты экспериментальных исследований эффективности алгоритмов для СХД различных объектов при широком диапазоне потребностей пользователей в ресурсах хранения. Предложенные рекомендации по использованию предложенных алгоритмов для решения задачи управления СХД в информационно-телекоммуникационных системах

Логический подход к интеграции программных приложений поддержки междисциплинарных научных исследований

У статті пропонується підхід до інтеграції програмних застосувань на прикладі функціонування Світової системи даних. Авторами розроблено загальну архітектуру системи інтеграції програмних застосувань, механізми якої побудовані на базі моделей та методів математичної логіки і теорії штучного інтелекту. Визначено формальну мову для описання застосувань, правила виведення для побудови схем взаємодії методів застосувань і обміну даними. Працездатність підходу продемонстрована на одній із задач забезпечення сталого розвитку регіонів України.The paper proposes an approach to the solution of software applications integration problem dealing with the support of interdisciplinary research on the example of the functioning of World Data System using the apparatus of mathematical logic and the theory of artificial intelligence. The authors proposed the overall architecture of the system integration, a formal language for description of existing applications and their functionalities. The inference rules were formulated that define the implementation circuit of application methods and data exchange in the users’ tasks solution process and the algorithm of the mechanism work dealing with the building of the users’ tasks tree solution based on the received output was designed. The proposed approach and the developed models and algorithms are illustrated with the help of the life safety component calculation task and indication of the threat critical values for the analysis of Ukrainian regions sustainable development, and this analysis is carried out annually by the World Data Center for Geoinformatics and Sustainable Development on behalf of the Committee on the systematic analysis of the Ukrainian NAS Presidium.В статье предлагается подход к интеграции программных приложений на примере функционирования Всемирной системы данных. Авторами разработана общая архитектура системы интеграции программных приложений, механизмы которой построены на базе моделей и методов математической логики и теории искусственного интеллекта. Определен формальный язык для описания приложений, правила вывода для построения схем взаимодействия методов приложений и обмена данными. Работоспособность подхода продемонстрирована на одной из задач обеспечения устойчивости развития регионов Украины

Операторна форма постановки, аналізу і розв’язання задач управління ІТ- інфраструктурою хмарного ЦОД

The cloud data center IT infrastructure management tasks belongs to the management task class of nonlinear non-stationary discrete objects with variable structure. The quality of IT services and the performance of cloud data centers are directly dependent on the performance of the infrastructure layer. The non-stationarity, alteration of the structure and parameters of the management object does not allow the use of traditional management methods to ensure the provision of cloud services with specified quality. In order to manage the IT infrastructure resources of the cloud data center, the special operator form based on the definition, implementation and evaluation of management strategies in the defined mode of the data center is proposed in the article. Management strategy is determined by assessing the state of IT infrastructure using metrics. The implementation of the defined strategy is accomplished through planning and subsequent applying of basic management methods. Theevaluation of the strategy's suitability is determined by the special operator based on the criterion of costs for supporting the operation of the physical infrastructure in order to further refine the choice of management strategy. Management strategies and strategies selection model for cloud data center resources management have been developed.Ref. 12, pic. 2Задача управления облачным центром обработки данных (ЦОД) относится к классу задач управления нелинейными нестационарными дискретными объектами с переменной структурой. Качество ИТ-услуг и производительность облачных ЦОД напрямую зависят от эффективностиработы уровня инфраструктуры. Нестационарность, изменение структуры и параметров объекта управления не позволяет использовать традиционные методы управления чтобы обеспечить предоставление облачных услуг с заданным качеством. Для управления ресурсами ИТ- инфраструктуры облачного ЦОД в статье предлагается специальная операторная форма,основанная на определении, реализации и оценке стратегий управления в определенном режиме работы ЦОД. Определение стратегии управления происходит путем оценки состояния ИТ- инфраструктуры с помощью метрик. Реализация определенной стратегии выполняется путем планирования и последующего применения базовых методов управления. Оценка работы стратегии определяется специальным оператором по критерию затрат на поддержание работы физической инфраструктуры с целью дальнейшего уточнения выбора стратегии управления. Разработаны стратегии управления и модели выбора стратегий при управлении ресурсами облачного ЦОД.Библ. 12, ил. 2Задача управління хмарним центром оброблення даних (ЦОД) належить до класу задач управління нелінійними нестаціонарними дискретними об'єктами зі змінною структурою. Якість ІТ-послуг і продуктивність хмарних ЦОД напряму залежать від ефективності роботи рівня інфраструктури. Нестаціонарність, змінення структури і параметрів об’єкта керування не дозволяє використовувати традиційні методи управління щоб забезпечити надання хмарних послуг із заданою якістю. Для управління ресурсами ІТ-інфраструктури хмарного ЦОД в статті пропонується спеціальна операторна форма, яка базується на визначенні, реалізації і оцінці стратегій управління у визначеному режимі роботи ЦОД. Визначення стратегії управління відбувається шляхом оцінки стану ІТ-інфраструктури за допомогою метрик. Реалізація визначеної стратегії виконується шляхом планування та наступного застосування базових методів управління. Оцінка роботи стратегії визначається спеціальним оператором за критеріємвитрат на підтримку роботи фізичної інфраструктури з метою подальшого уточнення вибору стратегії управління. Розроблені стратегії управління і моделі вибору стратегій при управлінні ресурсами хмарного ЦОД.Бібл. 12, іл.

Usage of component based approach during intelligent adaptive services design phase

В останні роки розробка на основі компонентів стала визнаним підходом. Розглянуто метод, що дозволяє спроектувати сервіс, вихід з ладу якого, призводить до автоматичного перерозподілу навантаження в системі. Компонентом ІАС-сервісу є бібліотека (файл з розширенням dll), яка написана для .NET Framework та має головний клас, що реалізує деякий API. Компоненти зв’язуються на етапі виконання між собою за допомогою декларацій в конфігураційному файлі. Завантажувач компонент автоматично ініціює компоненти згідно конфігурації.In recent years component-based development has become an established approach. The method, which allows to design services in a such way, that failure of any leads to an automatic load redistribution is considered in the article. Components of IAS service are the libraries (files with extension dll), written for the .NET Framework, and which have the main class that implements specific API. The components are linked to each other at runtime based on configuration file. Loader of the components automatically initiates the components according to the configuration

Управління системами збереження даних

The problems of effective management of tiered storage area network (SAN) are considered. The main independent variables and criteria for the operation SAN are defined. The criterion for selecting SAN management subsystem is proposed. The functional should covered with the SAN management subsystem is defined. Mathematical models for distribution users between SAN resources and management of tiered SAN resources are proposed. Genetic and heuristic algorithms for solving the problem of minimizing storage costs are proposed. The experimental results for different groups of tasks are given. It is shown that the genetic algorithm allows find a more effective solution than a heuristic algorithm. The average time spending on distribution of data depending on the dimension of the problem is estimated. The heuristic algorithm finds a solution faster than the genetic algorithm, but gives a less accurate result.Reference 9, figures. 5, tables 1.Рассмотрены проблемы управления многоуровневыми системами хранения данных (СХД). Разработаны математические модели для задач кластеризации и управления ресурсами СХД. Разработаны генетический и эвристический алгоритмы для решения задачи распределения ресурсов СХД по критерию минимизации затрат на хранение данных. Приведенны результаты экспериментальных исследований эффективности алгоритмов для СХД различных объектов при широком диапазоне потребностей пользователей в ресурсах хранения. Предложенные рекомендации по использованию предложенных алгоритмов для решения задачи управления СХД в информационно-телекоммуникационных системах.Библ. 9, рис. 5, табл. 1.Розглянуті аспекти управління багаторівневими системами збереження даних (СЗД). Розроблені математичні моделі для задач кластеризації та управління ресурсами СЗД. Розроблені генетичний та евристичний алгоритми для розв’язання задачі розподілення ресурсів СЗД за критерієм мінімізації витрат на збереження даних. Наведені результати експериментальних досліджень ефективності алгоритмів для СЗД різних об’єктів при широкому діапазоні потреб користувачів у ресурсах збереження. Запропоновані рекомендації  щодо використання запропонованих алгоритмів для розв’язання задачі управління СЗД в інформаційно-телекомунікаційних системах.Бібл. 9, рис. 5, табл. 1

The service level management in the internet of things system with microcloud-based architecture

The Internet of Things (IoT) is an emergent technology that offers great opportunities to enhance economic indices and productivity of enterprises, to improve the quality of consumers’ lives, and to enable more efficient use of resources. The authors propose an approach to Microcloud-based IoT infrastructure management to provide the desired quality of IT services with rational use of IT resources. The proposed approach is based on decomposition-compensation method in which the task of operational service quality management is to maintain a given level of service quality with the use of minimum IT resources amount in IoT environment. It allows the efficient use of resources for IT services provision in IoT ecosystem through the implementation of service level coordination, resource planning and service level management processes in the IT infrastructure management system.Интернет вещей – это новая технология, предлагающая качественно новые возможности для улучшения экономических показателей и производительности предприятий, для улучшении качества жизни потребителей и более эффективного использования информационных ресурсов. Предлагается подход к управлению уровнем услуг в системах IoT с микрооблачной инфраструктурой для обеспечения желаемого качества ИТ-услуг с рациональным использованием ИТ-ресурсов. Предложенный подход базируется на декомпозиционно-компенсационном подходе, в котором задачей оперативного управления качеством услуг является поддержание заданного уровня качества обслуживания с использованием минимального объема ИТ-ресурсов. При этом для эффективного использования ресурсов в системах интернета вещей при предоставлении ИТ-услуг в системе управления ИТ-инфраструктурой выделяются уровни координации услуг, планирования ресурсов и управления уровнем обслуживания

Virtual machine allocation management in the data center

A widespread use of the cloud computing paradigm has increased the necessity and significance of improving the management efficiency of cloud data centers. Special attention is paid to solving cloud resource management problems. Due to the intensive changes of virtual machine workloads and different conditions of resource utilization the virtual machine placement and migration problems should be solved and optimized continuously in an online manner. To address such problems the authors present an approach to continuous new virtual machine allocation and virtual machine migration. The authors also evaluate a particular policy of the virtual machine allocation in a data center using an adaptive genetic algorithm. The proposed Adaptive Software Defined approach to the cloud data centers management is implemented by using the policy selector, that allows to select different algorithms or policies for resources and virtual machines management in order to adapt to the impact of disturbing influences.Широкое внедрение парадигмы облачных вычислений привело к необходимости повышения эффективности управления ресурсами центров обработки данных. Учитывая частые изменения нагрузки на виртуальные машины и различные условия их функционирования, задачи размещения виртуальных машин и их миграции должны решаться в режиме онлайн. Для решения такого рода задач в статье предлагается подход к размещению новых виртуальных машин и миграции функционирующих. В работе оценена целесообразность использования адаптивного генетического алгоритма при управлении размещением виртуальных машин. Предложен адаптивный программно-определяемый подход к управлению виртуальными машинами центра обработки данных, который основывается на выборе политик управления ресурсами и виртуальными машинами с целью адаптации к влиянию возмущающих воздействий

Control of data centers’ load and resources for virtual hosting

Розглянуто проблему управління навантаженням і ресурсами центрів оброблення даних. Змодельовано і досліджено систему розподілу ресурсів і динамічного управління навантаженням серверів центру оброблення даних при віртуальному хостингу. Розглянуто існуючі рішення. На основі аналізу виявлених чинників впливу запропоновано загальний підхід до вирішення проблеми. У вигляді задач змішаного програмування з неперервними і булевими змінними сформульовано моделі розподілу екземплярів застосувань між фізичними серверами за різними критеріями ефективності з урахуванням ресурсних та інших обмежень. Для розв’язання задач запропоновано варіанти генетичного та евристичного алгоритмів, а також комплексний алгоритм, побудований на вирішенні задачі лінійного програмування із наступним використанням направленого перебору для визначення значень булевих змінних. Описано структуру й функціонування системи управління інфраструктурою інформаційних технологій, у якій реалізовано запропоновані в статті моделі й алгоритми вирішення зазначеної проблеми.Data centers’ load and resources control problem is considered. The system of data center’s servers’ resources distribution and dynamical load control for virtual hosting is modeling and researching. The available solutions review is fulfilled. On base of influence factors analysis the general approach to solve this problem is proposed. The models of application instances placement between servers under different criteria providing resources and other limitations in form of mixed programming tasks with continuous and Boolean variables are elaborated. The variants of genetic and heuristic algorithms, and also complex algorithm, based on linear programming tasks solution with next step realization of directed search schema to find values for Boolean variables for this problem solving are proposed. The structure and functioning description of information technologies infrastructure control system, in which proposed models and algorithms were realized, are described